Năm 1794, Cảnh Thịnh sai Nguyễn Văn Huấn, Trần Viết Kết đánh úp Diên Khánh, nhưng không được phải rút về. Mùa đông năm đó, Bùi Đắc Tuyên phái Ngô Văn Sở thay chức Vũ Văn Dũng trông coi Bắc Hà, và triệu Dũng về, đồng thời cũng kiếm chuyện bắt tội Trung thư lệnh Trần Văn Kỷ, đày ra trấn xa. Dũng gặp Kỉ ở trạm Mỹ Xuyên, Kỉ bàn với Dũng rằng:

Quan thái sư chức vị đã cao tột bực, trong tay nắm quyền làm oai làm phúc, lại đẩy ông ra ngoài, nếu có sự chẳng lợi cho nhà nước, các ông phỏng còn giữ được đầu chăng? Bây giờ chẳng sớm liệu đi, sau này ăn năn sao kịp?

Dũng tin và trọng Kỷ, nên cho lời Kỷ là phải. Hôm sau, Dũng đem quân bản bộ quay về, cùng Phạm Công Hưng, Nguyễn Văn Hóa vây nhà của Tuyên, nhưng gặp hôm Tuyên ở trong cung với vua Cảnh Thịnh. Dũng bèn vây cung, buộc vua phải giao Thái sư ra, không thì sẽ phóng hỏa đốt kinh. Cảnh Thịnh bất đắc dĩ phải nghe theo, Dũng bèn bắt phe đảng Đắc Tuyên bỏ ngục; lại sai người vào Quy Nhơn bắt Bùi Đắc Trụ[Ghi chú 2] (con Bùi Đắc Tuyên) rồi sai đô đốc Hài ra thành Thăng Long lập mưu bắt Ngô Văn Sở đưa về, thêu dệt thành tội trạng làm phản để dìm xuống nước cho chết hết[6]. Quang Toản không biết làm sao, chỉ khóc mà thôi[7]. Sau đó, Dũng lại sai Nguyễn Văn Hóa vào giữ thành Quy Nhơn.

Khi đó cánh quân của Trần Quang Diệu đang vây Nha Trang, thì được tin cha con Bùi Đắc Tuyên và Ngô Văn Sở đều đã bị Vũ Văn Dũng giết chết, sợ vạ lây đến mình, bèn kéo quân về, họp bàn cùng bọn tướng tá, định dùng quân lực bắt Vũ Văn Dũng. Ngay lập tức Diệu giải vây cho thành Nha Trang rồi kéo quân về thành Quy Nhơn để sau đó tiếp tục về kinh đô Phú Xuân (Huế). Về tới làng An Cựu[Ghi chú 3] ở phía nam kinh thành, trên bờ sông Hương, Diệu đóng quân ở bờ nam sông. Dũng cùng bọn nội hầu Tứ đem quân bản bộ đóng ở bờ bắc sông, mượn lệnh vua để chống lại với Diệu. Quang Toản lo sợ, không biết làm thế nào, sai người đi lại yên ủi dỗ dành để hòa giải. Diệu mới chịu vào yết kiến, giảng hòa với Dũng, và đưa Lê Trung thay Huấn giữ Quy Nhơn mà triệu Huấn về.

Lúc đó Cảnh Thịnh lên thân chánh, mà Thái úy Phạm Công Huân có bệnh mà chết, bèn lấy Diệu làm Thiếu phó, Huấn làm Thiếu bảo, Dũng làm Đại tư đồ. Nguyễn Văn Danh (có chỗ chép là Nguyễn Văn Tứ) làm Đại tư mã, gọi là Tứ trụ đại thần[8].